Vũ Đế làm tất cả những gì có thể để luôn thể hiện sự kính trọng với Vũ Văn Hộ, kiệm lời và không can thiệp vào các quyết định của Vũ Văn Hộ. Trong các cuộc tiếp xúc có mặt Sất Nô thái hậu và Vũ Văn Hộ, bà sẽ để Vũ Văn Hộ ngồi cùng bàn với bà, trong khi Vũ Đế do là em họ nên sẽ phải đứng và phục vụ hai người. Năm 561, Vũ Đế chính thức phong Vũ Văn Hộ làm đại trủng tể (大冢宰), có quyền lực đối với năm bộ khác. Vào mùa xuân năm 561, tướng Hạ Nhạc Đôn (賀若敦) đã không thể giữ vùng Hồ Nam ngày nay trước cuộc tấn công của tướng Trần Hầu Thiến (侯瑱). Trong khoảng thời gian đó, khi Vũ Đế truy thụy cho phụ thân của Vũ Văn Hộ là Vũ Văn Hạo và bá phụ Vũ Văn Lạc Sinh (宇文洛生) là Thiệu quốc công và Cử quốc công, quyền thừa kế các tước hiệu này đồng thời được trao cho các con trai của Vũ Văn Hộ là Vũ Văn Hội và Vũ Văn Chí.

Vào mùa xuân năm 563, khi Vũ Đế đột ngột quay trở về Trường An vào ban đêm trong khi đang thăm Nguyên châu (原州, nay gần tương ứng với Cố Nguyên, Ninh Hạ), Lương quốc công Hầu Mạc Trần Sùng đã ứng khẩu với thuộc hạ rằng có lẽ Vũ Văn Hộ đã qua đời. Khi lời của Hầu Mạc Trần Sùng truyền đến triều đình, Vũ Đế đã trách mắng Hầu Mạc Trần Sùng, còn Vũ Văn Hộ sau đó đã cử lính đến bao vây phủ của Hầu Mạc Trần Sùng và buộc người này phải tự sát, song cho phép Hầu Trần Mạc Sùng được án táng với nghi lễ của một công tước. Trong cùng năm, để thể hiện sự tôn kính lớn hơn đối với Vũ Văn Hộ, Vũ Đế đã ra lệnh rằng các công văn phải húy kỵ tên của Vũ Văn Hộ, một vinh dự mà không phải hoàng đế nào cũng có được.

Trong nhiều năm, Vũ Văn Hộ đã cố gắng phái người do thám chỗ ở của Diêm thị và người cô ruột mà ông đã để ở lại lãnh thổ Đông Ngụy khi xưa, không biết rằng họ đang làm nô bộc trong phụ cung ở Trung Sơn (中山, nay thuộc Bảo Định, Hà Bắc). Năm 564, trong các cuộc nghị hòa với Bắc Tề (sau khi liên quân Bắc Chu-Đột Quyết tấn công Bắc Tề trong cùng năm), Bắc Tề đã phóng thích cô ruột của Vũ Văn Thái đến Bắc Chu, và hứa hẹn sau đó sẽ phóng thích Diêm thị. Bắc Tề Vũ Thành Đế đã buộc Diêm thị phải trao đổi thư tín với Vũ Văn Hộ, có ý muốn dùng bà để có được các nhượng bộ, song vì lo sợ sẽ phải chịu các cuộc tấn công khác của Bắc Chu nếu như chọc giận Vũ Văn Hộ, Vũ Thành Đế sau đó đã phóng thích bà mà không thực sự có được sự nhượng bộ nào về mặt an ninh. Tuy nhiên, do sợ rằng Đột Quyết sẽ không hài lòng nếu Bắc Chu dừng các hoạt động phối hợp, Vũ Văn Hộ đã tiến hành một cuộc tấn công liên hiệp vào Bắc Tề cùng với Đột Quyết vào năm 564, song quân Bắc Chu đã bị đánh bại khi tấn công Lạc Dương và phải triệt thoái. Các sử gia đổ lỗi phần lớn thất bại là do thái độ nửa vời của Vũ Văn Hộ khi tấn công và do ông thiếu năng lực về mặt chiến lược quân sự tổng thể.

Vào mùa hè năm 567, tướng Trần là Hoa Kiểu (華皎) lo sợ trước sự thù địch của nhiếp chính Trần Húc, ông ta đã đem Tương châu (湘州, nay là trung bộ Hồ Nam) đầu hàng Bắc Chu. Bất chấp sự phản đối từ Thôi Dụ (崔猷), Vũ Văn Hộ đã phái Vệ quốc công Vũ Văn Trực (宇文直) lĩnh quân đến cứu trợ Hoa Kiểu và Tây Lương Minh Đế (một chư hầu của Bắc Chu). Tuy nhiên, tướng Trần là Ngô Minh Triệt (吳明徹) đã nhanh chóng đánh bại liên quân Bắc Chu-Tây Lương-Hoa Kiểu, buộc Hoa Kiểu và Vũ Văn Trực phải từ bỏ chiến tranh và chạy trốn về kinh thành Giang Lăng của Tây Lương. Trần đã giữ được toàn bộ lãnh thổ của Hoa Kiểu và còn giành thêm những vùng đất nhỏ từ cả Bắc Chu và Tây Lương. Vũ Văn Hộ bãi chức Vũ Văn Trực song cuối cùng đã lại phục chức. Mặc dù trước đó Vũ Văn Trực có một mối quan hệ thân thiết với Vũ Văn Hộ, song từ đó ông ta đã ôm hận thù trong lòng và bí mật khuyến khích Vũ Đế có hành động chống lại Vũ Văn Hộ.

Khoảng tết năm 568, Diêm thị qua đời. Theo lệnh của Vũ Đế, Vũ Văn Hộ đã không thực hiện theo phong tục để tang ba năm, song vẫn tiếp tục giữ vai trò nhiếp chính.

Vào mùa đông năm 570, khi tướng Bắc Tề là Hộc Luật Quang chiếm khu vực phía bắc Phần Thủy (汾水, chảy qua Lâm Phần, Sơn Tây), Vũ Văn Hộ đã hỏi ý em trai Vũ Đế là Tề quốc công Vũ Văn Hiến. Vũ Văn Hiến đề xuất rằng hãy để bản thân ông ta dẫn quân đánh Hộc Luật Quang, còn Vũ Văn Hộ chỉ huy đại quân song dừng ở Đồng châu (同州, nay gần tương ứng với Vị Nam, Thiểm Tây). Sau đó, Vũ Văn Hiến đã có thể buộc Hộc Luật Quang lâm vào thế bí, song các vùng lãnh thổ quan trọng vẫn bị mất về tay Bắc Tề.

Năm 572, Vũ Đế đã lập mưu cùng Vũ Văn Trực cùng Vũ Văn Thần Cử (宇文神舉), Vương Quỹ (王軌), và Vũ Văn Hiếu Bá (宇文孝伯) để tìm cách giết chết Vũ Văn Hộ do tin rằng ông là một mối đe dọa. Vào mùa xuân năm 572, sau khi Vũ Đế và Vũ Văn Hộ tiến hành hội nghị, hoàng đế đã mời Vũ Văn Hộ vào hoàng cung để gặp Sất Nô thái hậu. Trên đường đến cung của thái hậu, hoàng đế nói với Vũ Văn Hộ rằng Sất Nô thái hậu mắc chứng nghiện rượu và không nghe lời khuyên bảo của hoàng đế, vì thế ông ta muốn Vũ Văn hộ khuyên Thái hậu thay đổi. Vũ Đế còn ban cho Vũ Văn Hộ bản văn của "Tửu cáo"- một thiên chương từ thời Tây Chu khuyên con người không cất rượu và nát rượu, và đề nghị Vũ Văn Hộ đọc "Tửu cáo" cho Sất Nô thái hậu. Đến khi họ vào cung của thái hậu, Vũ Văn Hộ bắt đầu đọc "Tửu cáo" theo yêu cầu của Vũ Đế. Tuy nhiên, trước khi Vũ Văn hộ đọc xong, Vũ Đế đã bước ra phía sau ông và dùng một ngọc khuê để đánh vào đầu ông. Vũ Văn Hộ ngã xuống nền, và Vũ Văn Thực từ chỗ ẩn nấp ở gần đó đã nhảy ra lấy đầu của Vũ Văn Hộ. Các con trai, em trai, và các trọng thần của Vũ Văn Hộ đều bị hành quyết.

Năm 574, Vũ Văn Hộ được truy phục tước công, cải táng theo lễ nghi công tước, và được ban thụy hiệu chữ Đãng (蕩) có nghĩa là "làm loạn" hay "hủy hoại".